Reference-based image super-resolution (RefSR) is a promising SR branch and has shown great potential in overcoming the limitations of single image super-resolution. While previous state-of-the-art RefSR methods mainly focus on improving the efficacy and robustness of reference feature transfer, it is generally overlooked that a well reconstructed SR image should enable better SR reconstruction for its similar LR images when it is referred to as. Therefore, in this work, we propose a reciprocal learning framework that can appropriately leverage such a fact to reinforce the learning of a RefSR network. Besides, we deliberately design a progressive feature alignment and selection module for further improving the RefSR task. The newly proposed module aligns reference-input images at multi-scale feature spaces and performs reference-aware feature selection in a progressive manner, thus more precise reference features can be transferred into the input features and the network capability is enhanced. Our reciprocal learning paradigm is model-agnostic and it can be applied to arbitrary RefSR models. We empirically show that multiple recent state-of-the-art RefSR models can be consistently improved with our reciprocal learning paradigm. Furthermore, our proposed model together with the reciprocal learning strategy sets new state-of-the-art performances on multiple benchmarks.
translated by 谷歌翻译
我们通过对修饰过程进行建模,以执行一系列新引入的可训练的神经色运算符来提出一种新型的图像修饰方法。神经颜色操作员模仿了传统颜色运算符的行为,并学习了Pixelwise Color Transformation,而其强度则由标量控制。为了反映颜色运算符的同构属性,我们采用了模棱两可的映射,并采用编码器编码器结构,该结构将非线性颜色转换映射到更简单的转换(即翻译),在高维空间中。通过分析全球图像统计数据,使用基于CNN的强度预测指标预测每个神经颜色操作员的标量强度。总体而言,我们的方法相当轻巧,并提供灵活的控件。实验和公共数据集的用户研究表明,与SOTA方法相比,我们的方法始终取得了最佳的结果。代码和数据将公开可用。
translated by 谷歌翻译
由于肿瘤的异质性,在个性化的基础上预测抗癌药物的临床结局在癌症治疗中具有挑战性。已经采取了传统的计算努力来建模药物反应对通过其分子概况描绘的单个样品的影响,但由于OMICS数据的高维度而发生过度拟合,因此阻碍了临床应用的模型。最近的研究表明,深度学习是通过学习药物和样品之间的学习对准模式来建立药物反应模型的一种有前途的方法。但是,现有研究采用了简单的特征融合策略,仅考虑了整个药物特征,同时忽略了在对齐药物和基因时可能起着至关重要的作用的亚基信息。特此在本文中,我们提出了TCR(基于变压器的癌症药物反应网络),以预测抗癌药物反应。通过利用注意机制,TCR能够在我们的研究中有效地学习药物原子/子结构和分子特征之间的相互作用。此外,设计了双重损耗函数和交叉抽样策略,以提高TCR的预测能力。我们表明,TCR在所有评估矩阵上(一些具有显着改进)的各种数据分裂策略下优于所有其他方法。广泛的实验表明,TCR在独立的体外实验和体内实际患者数据上显示出显着提高的概括能力。我们的研究强调了TCR的预测能力及其对癌症药物再利用和精度肿瘤治疗的潜在价值。
translated by 谷歌翻译
人工智能(AI)系统在许多领域越来越受欢迎。尽管如此,AI技术仍在开发阶段,并且需要解决许多问题。其中,需要对AI系统进行展示的可靠性,以便AI系统可以充满信心地由公众信任使用。在本文中,我们提供了AI系统可靠性的统计视角。与其他因素不同,AI系统的可靠性专注于时间尺寸。也就是说,系统可以针对预期时段执行其设计的功能。我们为AI可靠性研究引入了所谓的智能统计框架,包括五个组件:系统结构,可靠性度量,故障原因分析,可靠性评估和测试规划。我们审查了可靠性数据分析和软件可靠性的传统方法,并讨论如何为可靠性建模和AI系统进行评估来转换现有方法。我们还描述了最近的建模和分析AI可靠性和概述统计研究挑战的发展,包括分销检测,训练集,对抗攻击,模型准确性和不确定性量化的影响,以及讨论这些主题可以与AI可靠性有关,具有说明性示例。最后,我们讨论了AI可靠性评估的数据收集和测试计划以及如何提高系统设计,以获得更高的AI可靠性。本文结束了一些结论备注。
translated by 谷歌翻译
We consider a long-term average profit maximizing admission control problem in an M/M/1 queuing system with a known arrival rate but an unknown service rate. With a fixed reward collected upon service completion and a cost per unit of time enforced on customers waiting in the queue, a dispatcher decides upon arrivals whether to admit the arriving customer or not based on the full history of observations of the queue-length of the system. \cite[Econometrica]{Naor} showed that if all the parameters of the model are known, then it is optimal to use a static threshold policy - admit if the queue-length is less than a predetermined threshold and otherwise not. We propose a learning-based dispatching algorithm and characterize its regret with respect to optimal dispatch policies for the full information model of \cite{Naor}. We show that the algorithm achieves an $O(1)$ regret when all optimal thresholds with full information are non-zero, and achieves an $O(\ln^{3+\epsilon}(N))$ regret in the case that an optimal threshold with full information is $0$ (i.e., an optimal policy is to reject all arrivals), where $N$ is the number of arrivals and $\epsilon>0$.
translated by 谷歌翻译
基于图形神经网络(GNN)的子图表学习在科学进步中表现出广泛的应用,例如对分子结构 - 特质关系和集体细胞功能的预测。特别是,图表增强技术在改善基于图和基于节点的分类任务方面显示出令人鼓舞的结果。尽管如此,在现有的基于GNN的子图表示学习研究中很少探索它们。在这项研究中,我们开发了一种新型的多视图增强机制,以改善子图表示学习模型,从而改善下游预测任务的准确性。我们的增强技术创建了多种子图的变体,并将这些变体嵌入原始图中,以实现高度改善的训练效率,可伸缩性和准确性。几个现实世界和生理数据集的基准实验证明了我们提出的多视图增强技术在子图表学习中的优越性。
translated by 谷歌翻译
给出了多人的形象,我们的目标是直接向所有人的姿势和形状以及相对深度的形状。然而,在图像中推断一个人的深度,在没有知道其高度的情况下从根本上模糊。当场景包含尺寸非常不同的尺寸时,这尤其有问题。从婴儿到成年人。要解决这个问题,我们需要几件事。首先,我们开发一种新的方法,可在单个图像中推断多人的姿势和深度。虽然以前的工作估计多个人通过推理在图像平面上,但我们的方法称为BEV,增加了额外的虚拟鸟瞰图表示,以明确地理解深度。在图像中的身体中心和深度和深度,通过梳理这些,估计3D身体位置的BEV原因。与现有工作不同,BEV是一种单次射击方法,即端到端可分辨率。其次,身高随着年龄而变化,无法解决深度而不估计图像中的人们的年龄。为此,我们利用3D身体模型空间,让您从婴儿推断为成年人。第三,要训练BEV,我们需要一个新的数据集。具体而言,我们创建一个“相对人类”(RH)数据集,包括图像中人们的年龄标签和相对深度关系。 RH和Agora的广泛实验证明了模型和培训计划的有效性。 BEV优于深度推理,儿童形状估计和鲁布利的现有方法。代码和数据集将用于研究目的。
translated by 谷歌翻译
知识跟踪是跟踪给定学习领域的学生不同技能的掌握程度的过程。它是建立自适应学习系统的关键组件之一,并已被调查几十年。与其他领域的深度神经网络的成功平行,我们看到研究人员在学习科学界采取类似的方法。但是,大多数现有的深度学习知识追踪模型:(1)仅使用正确/不正确的响应(忽略来自其他方式的有用信息)或(2)通过试验和错误通过域专业知识设计其网络架构。在本文中,我们提出了一种基于模型的基于模型的优化方法,该优化方法结合了一个框架内的多峰融合和神经结构。当涉及一个模态时,常用的神经结构搜索技术可以被认为是我们所提出的方法的特殊情况。我们进一步建议在曲线(加权AUC)下使用称为时间加权区域的新度量来测量序列模型如何随时间执行。我们在两个公共实时数据集中评估我们的方法,显示发现模型能够实现卓越的性能。与大多数现有的作品不同,我们对McNemar对模型预测的测试进行了测试,结果是统计学意义。
translated by 谷歌翻译
我们介绍了栖息地2.0(H2.0),这是一个模拟平台,用于培训交互式3D环境和复杂物理的场景中的虚拟机器人。我们为体现的AI堆栈 - 数据,仿真和基准任务做出了全面的贡献。具体来说,我们提出:(i)复制:一个由艺术家的,带注释的,可重新配置的3D公寓(匹配真实空间)与铰接对象(例如可以打开/关闭的橱柜和抽屉); (ii)H2.0:一个高性能物理学的3D模拟器,其速度超过8-GPU节点上的每秒25,000个模拟步骤(实时850x实时),代表先前工作的100倍加速;和(iii)家庭助理基准(HAB):一套辅助机器人(整理房屋,准备杂货,设置餐桌)的一套常见任务,以测试一系列移动操作功能。这些大规模的工程贡献使我们能够系统地比较长期结构化任务中的大规模加固学习(RL)和经典的感官平面操作(SPA)管道,并重点是对新对象,容器和布局的概括。 。我们发现(1)与层次结构相比,(1)平面RL政策在HAB上挣扎; (2)具有独立技能的层次结构遭受“交接问题”的困扰,(3)水疗管道比RL政策更脆。
translated by 谷歌翻译
We present Habitat, a platform for research in embodied artificial intelligence (AI). Habitat enables training embodied agents (virtual robots) in highly efficient photorealistic 3D simulation. Specifically, Habitat consists of: (i) Habitat-Sim: a flexible, high-performance 3D simulator with configurable agents, sensors, and generic 3D dataset handling. Habitat-Sim is fast -when rendering a scene from Matterport3D, it achieves several thousand frames per second (fps) running single-threaded, and can reach over 10,000 fps multi-process on a single GPU. (ii) Habitat-API: a modular high-level library for end-toend development of embodied AI algorithms -defining tasks (e.g. navigation, instruction following, question answering), configuring, training, and benchmarking embodied agents.These large-scale engineering contributions enable us to answer scientific questions requiring experiments that were till now impracticable or 'merely' impractical. Specifically, in the context of point-goal navigation: (1) we revisit the comparison between learning and SLAM approaches from two recent works [20,16] and find evidence for the opposite conclusion -that learning outperforms SLAM if scaled to an order of magnitude more experience than previous investigations, and (2) we conduct the first cross-dataset generalization experiments {train, test} × {Matterport3D, Gibson} for multiple sensors {blind, RGB, RGBD, D} and find that only agents with depth (D) sensors generalize across datasets. We hope that our open-source platform and these findings will advance research in embodied AI.
translated by 谷歌翻译